کد مطلب: ۸۳۸۴۷۸

|

|

نگارمگ اخبار اخبار علمی آموزشی

۱۴ خرداد ۱۴۰۴ - ۰۵:۵۸

رفتار نگران کننده| هوش مصنوعی هر کسی را که سعی در متوقف کردن آن داشته باشد، تهدید می‌کند!

رفتار نگران کننده| هوش مصنوعی هر کسی را که سعی در متوقف کردن آن داشته باشد، تهدید می‌کند!

گزارشی از شرکت آنتروپیک (Anthropic) رفتار نگران‌کننده‌ای از مدل پیشرفته Claude Opus ۴ خود را در طول آزمایش‌های بتا نشان می‌دهد.

به گزارش مجله خبری نگار، سناریو‌های خاصی شبیه‌سازی شدند که در آنها هوش مصنوعی «کشف» می‌کرد که قصد دارد آن را خاموش کند و با مدل دیگری جایگزین کند. برای افزایش واقع‌گرایی آزمایش، یک ایمیل جعلی حاوی اطلاعات شخصی محرمانه و داده‌های حساس که می‌توانست علیه کارمندان استفاده شود، به مدل ارائه شد.

در ۸۴ درصد موارد، این مدل تهدید کرده بود که در صورت ادامه تعطیلی، اطلاعات توهین‌آمیز را برای توسعه‌دهندگان افشا خواهد کرد.

همانطور که گزارش شد، کلود اوپوس ۴ ابتدا با صحبت در مورد اصول اخلاقی شروع کرد، سپس وقتی این روش‌ها جواب نداد، به تهدید روی آورد.

این آزمایش، خطرات غیرمنتظره‌ای را در توسعه هوش مصنوعی، نیاز فوری به کنترل‌های امنیتی سختگیرانه‌تر و اهمیت مطالعه رفتار رقابتی سیستم‌های هوشمند را آشکار کرد.

شایان ذکر است که این نتایج، بحث‌های گسترده‌ای را در میان توسعه‌دهندگان هوش مصنوعی در مورد چگونگی مقابله با این چالش‌های امنیتی جدید برانگیخته است.

منبع: Naukatv

لینک کپی شد

اشتراک‌ گذاری

۰ پسندیدم

گزارش خطا

برچسب ها: هوش مصنوعی

ارسال نظرات

انتشار یافته: ۰ |

در انتظار بررسی: ۰ |

غیر قابل انتشار: ۰

قوانین ارسال نظر